多标签少量拍摄图像分类(ML-FSIC)是基于少量训练示例将描述性标签分配给以前的未经看台图像的任务。多标签设置的关键特征是图像通常具有多个标签,该标签通常是指图像的不同区域。当估计原型的基于度量的设置时,重要的是确定哪些区域与哪个标签相关,但训练数据有限使得这一极具挑战性。作为一个解决方案,在本文中,我们建议使用Word Embeddings作为关于标签含义的先前知识的形式。特别地,使用依赖于标签嵌入的关注机制来聚合支持图像的本地特征映射来获得视觉原型。作为一个重要的优势,我们的模型可以在不需要微调任何模型参数的情况下推断出不必要的标签的原型,这证明了其强大的概括能力。 Coco和Pascal VOC的实验还表明,我们的模型大大提高了当前最先进的。
translated by 谷歌翻译
Low-rank and sparse decomposition based methods find their use in many applications involving background modeling such as clutter suppression and object tracking. While Robust Principal Component Analysis (RPCA) has achieved great success in performing this task, it can take hundreds of iterations to converge and its performance decreases in the presence of different phenomena such as occlusion, jitter and fast motion. The recently proposed deep unfolded networks, on the other hand, have demonstrated better accuracy and improved convergence over both their iterative equivalents as well as over other neural network architectures. In this work, we propose a novel deep unfolded spatiotemporal RPCA (DUST-RPCA) network, which explicitly takes advantage of the spatial and temporal continuity in the low-rank component. Our experimental results on the moving MNIST dataset indicate that DUST-RPCA gives better accuracy when compared with the existing state of the art deep unfolded RPCA networks.
translated by 谷歌翻译
Named entity recognition models (NER), are widely used for identifying named entities (e.g., individuals, locations, and other information) in text documents. Machine learning based NER models are increasingly being applied in privacy-sensitive applications that need automatic and scalable identification of sensitive information to redact text for data sharing. In this paper, we study the setting when NER models are available as a black-box service for identifying sensitive information in user documents and show that these models are vulnerable to membership inference on their training datasets. With updated pre-trained NER models from spaCy, we demonstrate two distinct membership attacks on these models. Our first attack capitalizes on unintended memorization in the NER's underlying neural network, a phenomenon NNs are known to be vulnerable to. Our second attack leverages a timing side-channel to target NER models that maintain vocabularies constructed from the training data. We show that different functional paths of words within the training dataset in contrast to words not previously seen have measurable differences in execution time. Revealing membership status of training samples has clear privacy implications, e.g., in text redaction, sensitive words or phrases to be found and removed, are at risk of being detected in the training dataset. Our experimental evaluation includes the redaction of both password and health data, presenting both security risks and privacy/regulatory issues. This is exacerbated by results that show memorization with only a single phrase. We achieved 70% AUC in our first attack on a text redaction use-case. We also show overwhelming success in the timing attack with 99.23% AUC. Finally we discuss potential mitigation approaches to realize the safe use of NER models in light of the privacy and security implications of membership inference attacks.
translated by 谷歌翻译
小型模块化反应堆的概念改变了解决未来能源危机的前景。考虑到其较低的投资要求,模块化,设计简单性和增强的安全功能,这种新的反应堆技术非常有希望。人工智能驱动的多尺度建模(中子,热液压,燃料性能等)在小型模块化反应堆的研究中纳入了数字双胞胎和相关的不确定性。在这项工作中,进行了一项关于耐亡燃料的多尺度建模的全面研究。探索了这些燃料在轻水的小型模块化反应堆中的应用。本章还重点介绍了机器学习和人工智能在设计优化,控制和监视小型模块反应器中的应用。最后,简要评估了有关人工智能在高燃烧复合事故耐受燃料的发展中的研究差距。还讨论了实现这些差距的必要行动。
translated by 谷歌翻译
现代机器学习研究依赖于相对较少的精心策划数据集。即使在这些数据集中,通常在“不整合”或原始数据中,从业人员也面临着重要的数据质量和多样性问题,这些问题可能会非常强烈地解决。应对这些挑战的现有方法往往会对特定问题做出强烈的假设,并且通常需要先验知识或元数据,例如域标签。我们的工作与这些方法是正交的:相反,我们专注于为元数据考古学提供一个统一和有效的框架 - 在数据集中发现和推断示例的元数据。我们使用简单的转换策划了可能存在的数据集(例如,错误标记,非典型或过度分布示例)中可能存在的数据子集,并利用这些探针套件之间的学习动力学差异来推断感兴趣的元数据。我们的方法与跨不同任务的更复杂的缓解方法相提并论:识别和纠正标签错误的示例,对少数民族样本进行分类,优先考虑与培训相关的点并启用相关示例的可扩展人类审核。
translated by 谷歌翻译
Visual Place识别(VPR)是机器人平台从其车载摄像机中正确解释视觉刺激的能力,以确定其当前是否位于先前访问的位置,尽管有不同的视点,照明和外观变化。 JPEG是一种广泛使用的图像压缩标准,能够以图像清晰度为代价显着降低图像的大小。对于同时部署多个机器人平台的应用程序,必须在每个机器人之间远程传输收集的视觉数据。因此,可以采用JPEG压缩来大大减少通信渠道传输的数据量,因为可以证明使用有限的带宽为有限的带宽是一项具有挑战性的任务。然而,以前尚未研究JPEG压缩对当前VPR技术性能的影响。因此,本文对与VPR相关方案中的JPEG压缩进行了深入研究。我们在8个数据集上使用一系列已建立的VPR技术,并应用了各种压缩。我们表明,通过引入压缩,VPR性能大大降低,尤其是在较高的压缩频谱中。为了克服JPEG压缩对VPR性能的负面影响,我们提出了一个微调的CNN,该CNN针对JPEG压缩数据进行了优化,并表明其在极度压缩的JPEG图像中检测到的图像转换更加一致。
translated by 谷歌翻译
尽管大量研究专门用于变形检测,但大多数研究都无法推广其在训练范式之外的变形面。此外,最近的变体检测方法非常容易受到对抗攻击的影响。在本文中,我们打算学习一个具有高概括的变体检测模型,以对各种形态攻击和对不同的对抗攻击的高度鲁棒性。为此,我们开发了卷积神经网络(CNN)和变压器模型的合奏,以同时受益于其能力。为了提高整体模型的鲁棒精度,我们采用多扰动对抗训练,并生成具有高可传递性的对抗性示例。我们详尽的评估表明,提出的强大合奏模型将概括为几个变形攻击和面部数据集。此外,我们验证了我们的稳健集成模型在超过最先进的研究的同时,对几次对抗性攻击获得了更好的鲁棒性。
translated by 谷歌翻译
随着面部生物识别技术的广泛采用,在自动面部识别(FR)应用中区分相同的双胞胎和非双胞胎外观相似的问题变得越来越重要。由于同卵双胞胎和外观相似的面部相似性很高,因此这些面对对面部识别工具表示最困难的病例。这项工作介绍了迄今为止汇编的最大的双胞胎数据集之一,以应对两个挑战:1)确定相同双胞胎和2)的面部相似性的基线度量和2)应用此相似性措施来确定多ppelgangers的影响或外观 - Alikes,关于大面部数据集的FR性能。面部相似性度量是通过深度卷积神经网络确定的。该网络经过量身定制的验证任务进行培训,旨在鼓励网络在嵌入空间中将高度相似的面对对组合在一起,并达到0.9799的测试AUC。所提出的网络为任何两个给定的面提供了定量相似性评分,并已应用于大规模面部数据集以识别相似的面对对。还执行了一个附加分析,该分析还将面部识别工具返回的比较分数以及提议网络返回的相似性分数。
translated by 谷歌翻译
人们普遍认为,人类视觉系统偏向于识别形状而不是纹理。这一假设导致了越来越多的工作,旨在使深层模型的决策过程与人类视野的基本特性保持一致。人们对形状特征的依赖主要预计会改善协变量转移下这些模型的鲁棒性。在本文中,我们重新审视了形状偏置对皮肤病变图像分类的重要性。我们的分析表明,不同的皮肤病变数据集对单个图像特征表现出不同的偏见。有趣的是,尽管深层提取器倾向于学习对皮肤病变分类的纠缠特征,但仍然可以从该纠缠的表示形式中解码单个特征。这表明这些功能仍在模型的学习嵌入空间中表示,但不用于分类。此外,不同数据集的光谱分析表明,与常见的视觉识别相反,皮肤皮肤病变分类本质上依赖于超出形状偏置的复杂特征组合。自然的结果,在某些情况下,摆脱了形状偏见模型的普遍欲望甚至可以改善皮肤病变分类器。
translated by 谷歌翻译
新的纳米级技术的出现对辐射环境中的可靠电子系统造成了重大挑战。少数种类的辐射等全电离剂量(TID)效应通常导致在这种纳米级电子设备上的永久性损坏,以及当前最先进的技术,以使用昂贵的辐射硬化装置。本文重点介绍了一种新颖且不同的方法:在消费者电子级现场可编程门阵列(FPGA)上使用机器学习算法来解决TID效果并在停止工作之前监控它们替换。这种情况有一个研究挑战,以期待电路板因TID效应而导致总失效。我们观察到γ辐射下FPGA板的内部测量,并使用了三种不同的异常检测机学习(ML)算法来检测伽马辐射环境中的传感器测量中的异常。统计结果表明伽马辐射曝光水平与板测量之间的高度显着关系。此外,我们的异常检测结果表明,具有径向基函数内核的单级支持向量机的平均召回得分为0.95。此外,在电路板停止工作之前,可以检测到所有异常。
translated by 谷歌翻译